Elon Musk sinh ra tại Pretoria, Nam Phi trong một gia đình có cha, Errol Musk, là người Nam Phi và mẹ, Maye Haldeman là người Canada.[19][20][21] Từ khi còn rất nhỏ Elon đã tự mình học lập trình, và ở tuổi 12 cậu đã bán phần mềm đầu tiên của mình- một trò chơi không gian tên là Blastar- với giá khoảng 500 đô la[22].

Sau khi học hai năm lớp 8, 9 ở trường Trung học Bryanston, Musk trúng tuyển vào Trung học nam sinh Pretoria. Ông rời quê nhà năm 1988 ở tuổi 17 để tránh nghĩa vụ quân sự trong quân đội Nam Phi bấy giờ bảo vệ chế độ Apartheid như ông từng kể: " Tôi không có vấn đề gì với việc phục vụ quân đội, tuy nhiên phục vụ trong quân đội Nam Phi đàn áp người da đen không có gì là một cách hay để tiêu tốn thời gian"[22]. Ông muốn tới Hoa Kỳ, từng nói rằng: "Đó là nơi những điều vĩ đại có thể thực hiện"[23].

Năm 1992, sau khi học hai năm tại Queen's University, Kingston, Ontario, Musk rời Canada theo học đồng thời ngành kinh doanh và vật lý tại Đại học Pennsylvania, nhận hai bằng cử nhân Kinh tế và Vật lý tại đây[24][25]. Sau đó, ông chuyển tới Thung lũng Silicon, California và theo học tiến sĩ về Vật lý Ứng dụng và Khoa học Vật liệu tại Đại học Standford. Ông bỏ ngang việc làm nghiên cứu sinh để theo đuổi cách mạng công nghệ, lấy cảm hứng từ những nhà cách tân trước đó như Nikola Tesla, Bill Gates, Steve Jobs, và Walt Disney,[26] Musk xem xét ba lĩnh vực mà ông muốn tham dự mà ông cho là những vấn đề sẽ ảnh hưởng nhiều nhất tới tương lai nhân loại, "Một là Internet, hai là năng lượng tái tạo, ba là chinh phục không gian."[22]